home *** CD-ROM | disk | FTP | other *** search
/ Personal Computer World 2005 October / PCWOCT05.iso / Software / FromTheMag / XAMPP 1.4.14 / xampp-win32-1.4.14-installer.exe / xampp / mysql / scripts / mysqldumpslow < prev    next >
Text File  |  2005-04-01  |  6KB  |  181 lines
  1. #!/usr/bin/perl
  2. # mysqldumpslow - parse and summarize the MySQL slow query log
  3.  
  4. # Original version by Tim Bunce, sometime in 2000.
  5. # Further changes by Tim Bunce, 8th March 2001.
  6. # Handling of strings with \ and double '' by Monty 11 Aug 2001.
  7.  
  8. use strict;
  9. use Getopt::Long;
  10.  
  11. # t=time, l=lock time, r=rows
  12. # at, al, and ar are the corresponding averages
  13.  
  14. my %opt = (
  15.     s => 'at',
  16.     h => '*',
  17. );
  18.  
  19. GetOptions(\%opt,
  20.     'verbose|v+',# verbose
  21.     'help+',    # write usage info
  22.     'debug|d+',    # debug
  23.     's=s',    # what to sort by (t, at, l, al, r, ar etc)
  24.     'r!',    # reverse the sort order (largest last instead of first)
  25.     't=i',    # just show the top n queries
  26.     'a!',    # don't abstract all numbers to N and strings to 'S'
  27.     'n=i',    # abstract numbers with at least n digits within names
  28.     'g=s',    # grep: only consider stmts that include this string
  29.     'h=s',    # hostname of db server for *-slow.log filename (can be wildcard)
  30.     'i=s',    # name of server instance (if using mysql.server startup script)
  31.     'l!',    # don't subtract lock time from total time
  32. ) or usage("bad option");
  33.  
  34. $opt{'help'} and usage();
  35.  
  36. unless (@ARGV) {
  37.     my $defaults   = `my_print_defaults mysqld`;
  38.     my $basedir = ($defaults =~ m/--basedir=(.*)/)[0]
  39.     or die "Can't determine basedir from 'my_print_defaults mysqld' output: $defaults";
  40.     warn "basedir=$basedir\n" if $opt{v};
  41.  
  42.     my $datadir = ($defaults =~ m/--datadir=(.*)/)[0];
  43.     if (!$datadir or $opt{i}) {
  44.     # determine the datadir from the instances section of /etc/my.cnf, if any
  45.     my $instances  = `my_print_defaults instances`;
  46.     die "Can't determine datadir from 'my_print_defaults mysqld' output: $defaults"
  47.         unless $instances;
  48.     my @instances = ($instances =~ m/^--(\w+)-/mg);
  49.     die "No -i 'instance_name' specified to select among known instances: @instances.\n"
  50.         unless $opt{i};
  51.     die "Instance '$opt{i}' is unknown (known instances: @instances)\n"
  52.         unless grep { $_ eq $opt{i} } @instances;
  53.     $datadir = ($instances =~ m/--$opt{i}-datadir=(.*)/)[0]
  54.         or die "Can't determine --$opt{i}-datadir from 'my_print_defaults instances' output: $instances";
  55.     warn "datadir=$datadir\n" if $opt{v};
  56.     }
  57.  
  58.     @ARGV = <$datadir/$opt{h}-slow.log>;
  59.     die "Can't find '$datadir/$opt{h}-slow.log'\n" unless @ARGV;
  60. }
  61.  
  62. warn "\nReading mysql slow query log from @ARGV\n";
  63.  
  64. my @pending;
  65. my %stmt;
  66. $/ = ";\n#";        # read entire statements using paragraph mode
  67. while ( defined($_ = shift @pending) or defined($_ = <>) ) {
  68.     warn "[[$_]]\n" if $opt{d};    # show raw paragraph being read
  69.  
  70.     my @chunks = split /^\/.*Version.*started with[\000-\377]*?Time.*Id.*Command.*Argument.*\n/m;
  71.     if (@chunks > 1) {
  72.     unshift @pending, map { length($_) ? $_ : () } @chunks;
  73.     warn "<<".join(">>\n<<",@chunks).">>" if $opt{d};
  74.     next;
  75.     }
  76.  
  77.     s/^#? Time: \d{6}\s+\d+:\d+:\d+.*\n//;
  78.     my ($user,$host) = s/^#? User\@Host:\s+(\S+)\s+\@\s+(\S+).*\n// ? ($1,$2) : ('','');
  79.  
  80.     s/^# Query_time: (\d+)  Lock_time: (\d+)  Rows_sent: (\d+).*\n//;
  81.     my ($t, $l, $r) = ($1, $2, $3);
  82.     $t -= $l unless $opt{l};
  83.  
  84.     # remove fluff that mysqld writes to log when it (re)starts:
  85.     s!^/.*Version.*started with:.*\n!!mg;
  86.     s!^Tcp port: \d+  Unix socket: \S+\n!!mg;
  87.     s!^Time.*Id.*Command.*Argument.*\n!!mg;
  88.  
  89.     s/^use \w+;\n//;    # not consistently added
  90.     s/^SET timestamp=\d+;\n//;
  91.  
  92.     s/^[     ]*\n//mg;    # delete blank lines
  93.     s/^[     ]*/  /mg;    # normalize leading whitespace
  94.     s/\s*;\s*(#\s*)?$//;    # remove trailing semicolon(+newline-hash)
  95.  
  96.     next if $opt{g} and !m/$opt{g}/io;
  97.  
  98.     unless ($opt{a}) {
  99.     s/\b\d+\b/N/g;
  100.     s/\b0x[0-9A-Fa-f]+\b/N/g;
  101.         s/''/'S'/g;
  102.         s/""/"S"/g;
  103.         s/(\\')//g;
  104.         s/(\\")//g;
  105.         s/'[^']+'/'S'/g;
  106.         s/"[^"]+"/"S"/g;
  107.     # -n=8: turn log_20001231 into log_NNNNNNNN
  108.     s/([a-z_]+)(\d{$opt{n},})/$1.('N' x length($2))/ieg if $opt{n};
  109.     # abbreviate massive "in (...)" statements and similar
  110.     s!(([NS],){100,})!sprintf("$2,{repeated %d times}",length($1)/2)!eg;
  111.     }
  112.  
  113.     my $s = $stmt{$_} ||= { users=>{}, hosts=>{} };
  114.     $s->{c} += 1;
  115.     $s->{t} += $t;
  116.     $s->{l} += $l;
  117.     $s->{r} += $r;
  118.     $s->{users}->{$user}++ if $user;
  119.     $s->{hosts}->{$host}++ if $host;
  120.  
  121.     warn "{{$_}}\n\n" if $opt{d};    # show processed statement string
  122. }
  123.  
  124. foreach (keys %stmt) {
  125.     my $v = $stmt{$_} || die;
  126.     my ($c, $t, $l, $r) = @{ $v }{qw(c t l r)};
  127.     $v->{at} = $t / $c;
  128.     $v->{al} = $l / $c;
  129.     $v->{ar} = $r / $c;
  130. }
  131.  
  132. my @sorted = sort { $stmt{$b}->{$opt{s}} <=> $stmt{$a}->{$opt{s}} } keys %stmt;
  133. @sorted = @sorted[0 .. $opt{t}-1] if $opt{t};
  134. @sorted = reverse @sorted         if $opt{r};
  135.  
  136. foreach (@sorted) {
  137.     my $v = $stmt{$_} || die;
  138.     my ($c, $t,$at, $l,$al, $r,$ar) = @{ $v }{qw(c t at l al r ar)};
  139.     my @users = keys %{$v->{users}};
  140.     my $user  = (@users==1) ? $users[0] : sprintf "%dusers",scalar @users;
  141.     my @hosts = keys %{$v->{hosts}};
  142.     my $host  = (@hosts==1) ? $hosts[0] : sprintf "%dhosts",scalar @hosts;
  143.     printf "Count: %d  Time=%.2fs (%ds)  Lock=%.2fs (%ds)  Rows=%.1f (%d), $user\@$host\n%s\n\n",
  144.         $c, $at,$t, $al,$l, $ar,$r, $_;
  145. }
  146.  
  147. sub usage {
  148.     my $str= shift;
  149.     my $text= <<HERE;
  150. Usage: mysqldumpslow [ OPTS... ] [ LOGS... ]
  151.  
  152. Parse and summarize the MySQL slow query log. Options are
  153.  
  154.   --verbose    verbose
  155.   --debug      debug
  156.   --help       write this text to standard output
  157.  
  158.   -v           verbose
  159.   -d           debug
  160.   -s ORDER     what to sort by (t, at, l, al, r, ar etc), 'at' is default
  161.   -r           reverse the sort order (largest last instead of first)
  162.   -t NUM       just show the top n queries
  163.   -a           don't abstract all numbers to N and strings to 'S'
  164.   -n NUM       abstract numbers with at least n digits within names
  165.   -g PATTERN   grep: only consider stmts that include this string
  166.   -h HOSTNAME  hostname of db server for *-slow.log filename (can be wildcard),
  167.                default is '*', i.e. match all
  168.   -i NAME      name of server instance (if using mysql.server startup script)
  169.   -l           don't subtract lock time from total time
  170.  
  171. HERE
  172.     if ($str) {
  173.       print STDERR "ERROR: $str\n\n";
  174.       print STDERR $text;
  175.       exit 1;
  176.     } else {
  177.       print $text;
  178.       exit 0;
  179.     }
  180. }
  181.